Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction
多领域编程Agent基准:抗污染任务构建与开放评估
🧭 多域编码Agent评估与抗污染基准 ★ 深度解读
Tencent (Youtu Lab, Keen Security Lab, Workbuddy, Yunding Security Lab)
提出跨Code/Web/Office/Security四域的抗污染编程Agent评估套件,任务由真实场景改写且完全开放可审计
📌 工作参考价值(4 点)
- 任务构造抗污染:从真实commit/PR反向工程并改写为口语化角色请求,隐藏根因和参考diff,使提示无法通过搜索获取,可借鉴用于构造内部Agent评测集,避免记忆偏差。
- 多域评估设计:覆盖仓库级代码、前端、办公文件、安全四大类,可按业务需求拆分类似维度评估自研Agent,尤其适合需处理多类型任务的推荐系统辅助Agent。
- 统一沙盒执行与开放审计:Harbor风格任务目录打包,双评估器可复现,全部测试和参考方案公开。在电商/广告Agent评测中,可参考其沙盒隔离和评估前隐藏测试的方式保证公平性。
- 反欺骗与可靠评分:Security的5层反欺骗机制(禁止字面量扫描、重命名输入等)和Office的证据驱动法官,可用于需要防止Agent走捷径的业务线上评测。